-
-
Notifications
You must be signed in to change notification settings - Fork 384
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Adiciona spiders para Abaré, Adustina, Almadina, Anagé e Andorinha #1137
Conversation
Oi @trevineju, não sei se ficou confuso, mas neste PR deve estar tudo certinho :) |
oi, @cassiasamp. Não sei te dizer quando volto aqui. Nós temos mais de 60 PRs abertas, então vamos adicionando aos poucos (de referência, fazemos revisões abertas toda quarta feira a tarde no nosso discord da comunidade) Além disso, com o que está acontecendo no Rio Grande do Sul, fizemos um esforço de priorizar a adição de municípios de lá. Mas muito obrigada pela contribuição e pela paciência |
Obrigada pela PR e pela paciência, @cassiasamp! Segue a análise dos logs que você anexou na PR: AbaréColeta por período está ok AdustinaColeta por período está ok AlmadinaColeta por período está ok AnagéColeta por período está ok anage-2007-2008.csv | anage-2007-2008.log AndorinhaColeta por período está ok Como nenhum desses erros é culpa do raspador, visto que 404 (URL quebrada) e empty-content (arquivo vazio) são problemas do site publicador, tá aprovada a PR! Obrigada!! |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
adicionando importlib a build ao requirements.in Tive este erro ao instalar os requirements de dev: ERROR: In --require-hashes mode, all requirements must have their versions pinned with ==. These do not: importlib-metadata>=4.6 from https://files.pythonhosted.org/packages/2d/0a/679461c511447ffaf176567d5c496d1de27cbe34a87df6677d7171b2fbd4/importlib_metadata-7.1.0-py3-none-any.whl (from build==1.0.3->-r data_collection/requirements-dev.txt (line 48)) e precisei instalar importlib e build. Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_adustina.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_almadina.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_anage.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_andorinha.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> arquivos corrigidos de adustina, anage e andorinha mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois arrumando arquivos de adustina, anage e andorinha adicionando raspadores para abare, adustina, almadina, anage e andorinha adicionando importlib a build ao requirements.in Tive este erro ao instalar os requirements de dev: ERROR: In --require-hashes mode, all requirements must have their versions pinned with ==. These do not: importlib-metadata>=4.6 from https://files.pythonhosted.org/packages/2d/0a/679461c511447ffaf176567d5c496d1de27cbe34a87df6677d7171b2fbd4/importlib_metadata-7.1.0-py3-none-any.whl (from build==1.0.3->-r data_collection/requirements-dev.txt (line 48)) e precisei instalar importlib e build. Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_adustina.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_almadina.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_anage.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> Update data_collection/gazette/spiders/ba/ba_andorinha.py Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com> Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com> arquivos corrigidos de adustina, anage e andorinha mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois mudando o requirements para fazer um pr depois arrumando arquivos de adustina, anage e andorinha
Atualizei a história dessa Resumir os commits sendo: transformar todo o histórico de commits que tinha aqui antes e em apenas um. Depois:
Sei que nessa ocasião não consegui, por conta do RS, mas costumo também ajudar as pessoas com dificuldade com Git/GitHub. Não precisava ter aberto e fechado 2 PRs até chegar nessa 3ª, podíamos ter corrigido lá na primeira PR mesmo. Da próxima vez melhoramos isso! 😃 |
Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
custom_settings
em meu raspador.Testes
.log
deste teste está anexado na PR..log
e.csv
deste teste estão anexados na PR..log
e.csv
deste teste estão anexados na PR.Verificações
.csv
gerados pela minha coleta conforme a documentação não encontrando problemas..log
gerados pela minha coleta conforme a documentação não encontrando problemas.Os logs de Andorinha, Almadina, Andustina e Abaré tem a contagem de 1 erro.
Descrição
Terceiro PR com os primeiros 5 municípios da issue #1115. O primeiro PR foi #1134, então #1135 e agora os arquivos estão finalmente corretos.
Arquivos de csv e log gerados:
última edição
log_ba_abare_last.log
log_ba_adustina_last.log
log_ba_almadina_last.log
log_ba_anage_last.log
log_ba_andorinha_last.log
completos e por intervalo arbitrário
-- adustina
ba_adustina.csv
log_ba_adustina.txt
ba_adustina_jan_dec_2023.csv
log_ba_adustina_jan_dec_2023.log
--andorinha
ba_andorinha.csv
log_ba_andorinha.txt
log_ba_andorinha_jan_dec_2023.txt
ba_andorinha_jan_dec_2023.csv
-- anage
log_ba_anage_jan_dec_2023.txt
ba_anage.csv
log_ba_anage.txt
ba_anage_jan_dec_2023.csv
-- almadina
log_ba_almadina.txt
ba_almadina.csv
log_ba_almadina_jan_dec_2023.txt
ba_almadina_jan_dec_2023.csv
-- abare
ba_abare.csv
log_ba_abare.txt
log_ba_abare_jan_dec_2023.txt
ba_abare_jan_dec_2023.csv